Nhạc có công trận ở Hàn Sơn, Trường Xã, lại thu hàng Dĩnh Châu, uy danh rất lớn. Ông tính tình xa xỉ, ưa thích tửu sắc, thường bày tiệc múa hát, các vương đều không theo kịp. Ban đầu, Bình Tần vương Cao Quy Ngạn mồ côi từ nhỏ, được Cao Hoan gởi nuôi trong nhà của Nhạc, vì bị đối xử lạnh nhạt, nên ngầm oán hận trong lòng, mà không dám nói ra. Về sau, Quy Ngạn được sủng ái, làm Lĩnh quân tướng quân, ông lại cho rằng mình có ơn với hắn ta, nên không đề phòng gì. Nhạc ở phía nam kinh thành xây dựng phủ trạch, xin mở con ngõ sau. Quy Ngạn tâu với Văn Tuyên đế Cao Dương rằng: "Thanh Hà xây phủ trạch, phỏng theo hoàng cung, làm ra con ngõ dài, chỉ là không có cửa khuyết mà thôi." Cao Dương nghe vậy thì ghét lắm, dần xa lánh Nhạc.

Về sau Cao Dương thu nạp ca kỹ Tiết thị (thường gọi là Tiết Muội) vào cung, mà Nhạc từng gọi chị em họ Tiết đến mua vui. Tiết Thư cậy em được ủng ái, xin cho cha làm Tư đồ, Cao Dương cả giận đem cô ta ra cưa chết, rồi lại trách Nhạc "gian dâm dân nữ". Ông đáp: "Thần vốn muốn lấy các cô ấy, hiềm rằng bọn họ tính tình khinh bạc không thể dùng được, chứ không hề gian dâm." Cao Dương nghe xong càng giận.

Theo Bắc Tề thư, tháng 11 năm thứ Thiên Bảo 6 (555), Cao Dương sai Quy Ngạn đến nhà trách mắng Nhạc. Nhạc lo sợ không biết làm sao, được vài ngày thì hoăng, nên mọi người đều cho là ông bị ban rượu độc mà chết, khi ấy được 44 tuổi. Triều đình ban chiếu cho Đại Hồng Lô giám hộ tang sự, tặng Sứ trì tiết, đô đốc Ký, Định, Thương, Doanh, Triệu, U, Tể, 7 châu chư quân sự, Thái tể, Thái phó, Định Châu thứ sử, Giả hoàng việt, ban cho xe màn, 2000 tấm lụa, thụy là Chiêu Vũ.

Nhạc chết rồi, Cao Dương vẫn chưa hết giận. Bấy giờ Tiết tần (Tiết Muội được phong làm Tần) đang có mang, đợi cô ta sinh xong, Cao Dương đem chém, bày đầu trong bữa tiệc ở Đông Sơn (đông Nghiệp Thành), những người dự tiệc trông thấy đều kinh hãi. Cao Dương còn đem tro cốt của Tiết tần chế thành cây đàn tỳ bà, ôm đàn, rơi nước mắt mà nói: "Người đẹp khó gặp lại!" (Nguyên văn: giai nhân nan tái đắc)